Ontology-based Crawler for the Semantic Web Dissertation for the degree of Master in Applied Computer Science

Information interoperatbility has received increased attention since the growing popularity of the Internet, the Web and distributed computing infrastructures. During this evolution, the attention on semantics and ontologies to achieve this interoperatbility has also increased. The same thing is happening on the Semantic Web, where ontologies are used to assign (agreed) meaning to the content of the Web. On the Semantic Web, data will inevitably be linked to many different ontologies, and information processing across ontologies is not possible without knowing the semantic mappings between them. As the resources on the Semantic Web are annotated using these ontologies, new search techniques can be applied to find specific and structured information. This evolution calls for new tools to assist the user in the discovery and extraction of specific information resources from the Semantic Web. In this thesis, we describe an ontologyfocused crawler for the Semantic Web. We argue that this crawler can exploit the semantic meta data to efficiently discover and extract information resources on the Semantic Web. In our approach, we use a topic ontology to guide the crawler to the relevant information. We present DMatch-lite as the algorithm used to guide the crawler. DMatch-lite is an automated ontology matching algorithm that matches the topic ontology with the Semantic Web ontologies discovered during the crawl. It computes the similarity score between both ontologies and returns a list of candidate mappings. These candidate mappings can later facilitate the integration of the extracted ontologies. By computing the similarity between a topic ontology and Semantic Web ontologies instead of comparing a keyword description to the text of the resources, we believe that the crawler is more efficient in the discovery and extraction of information resources. We embed this crawler system into the DOGMA Framework. The DOGMA Studio workbench provides the ontology engineer with a powerful framework to model the topic ontology commitment used to guide the crawler. By embedding the crawer into the DOGMA Framework, the data extracted during the crawl can also be efficiently used in other applications such as ontology integration and elicitation. Samenvatting Met de toenemende populariteit van Internet en het Web is de nood aan onderlinge informatie overdracht alleen maar toegenomen. Tijdens die evolutie is ook de aandacht voor semantiek en ontologieën sterk gestegen. Een gelijkaardige evolutie is vast te stellen op het Semantische Web. Daar worden ontologieën gebruikt om (overeengekomen) betekenis aan de inhoud van het web toe te wijzen. Zo worden de gegevens binnen het Semantische Web onvermijdelijk verbonden met de diverse ontologieën en is de informatieverwerking van deze gegevens niet mogelijk zonder de semantische relaties tussen de verschillende ontologieën te kennen. Door de annotatie van gegevens met diverse ontologieën, kunnen nieuwe zoek algoritmes ontwikkeld worden om specifieke en gestructureerde informatie te vinden. In deze thesis beschrijven we een ontology-based crawler voor het Semantische Web. We tonen aan dat deze crawler de semantisch geannoteerde data kan exploiteren omde gegevens op het Semantische Web op een efficiënte manier te ontdekken en op te vragen. In onze benadering gebruiken we een topic-ontology om de crawler naar de relevante informatie te leiden. Wij stellen het DMatch-lite algoritme voor om de semantisch geannoteerde data te exploiteren. Dmatch-lite is een geautomatiseerd ontology-based matching algoritme dat de bron ontologiemet de ontologieën die op het SemantischeWeb gevondenworden, vergelijkt. Het berekent de gelijkenis tussen beide ontologieën en geeft een lijst terug van alle kandidaat relaties tussen de concepten van de ontologieën. In plaats van een gewone keyword beschrijing te gebruiken om de crawler naar de relevante paginas te leiden, geloven wij dat onze aanpak, met een bron ontologie en DMatch-lite als ontology matcher een betere oplossing biedt. Deze crawler is ontwikkeld binnen het DOGMA Framework. We gebruiken de DOGMA Studio Workbench om de bron ontologie te modelleren. Bovendien kunnen, door gebruik te maken van het DOGMA Framework, de gegevens die tijdens het crawler verzameld werden, gebruikt worden in andere toepassingen, zoals de integratie en elicitatie van ontologieën.